自我介紹

陳紹慶
慈濟大學人類發展與心理學系專任副教授

開放科學中心大使
心理科學加速器創始成員；訓練委員會助理監督
scchen.com

Fork my slides on Github

Diederik Stapel

Daryl Bem’s Feeling the Future

False-positive psychology

Today I will talk about…

• The Sin of Bias
• The Sin of Hidden Flexibility
• The Sin of Unreliability
• The Sin of Corruptibility

What is False-Positive

Prevalence of False-Positive

Fanelli(2010)	Fanelli(2012)

If we wish every result is replicable, a science at least has the statistical power of 80%.

The truth is … (Smaldino and McElreath, 2016)

Controversy surrounding Power Posing

Good theory, Bad evidence

• Failed replications (Ranehill, 2015)
• Publication bias (Carney, Cuddy, & Yap, 2015; Simmons & Simonsohn, 2017)
• Sloopy methods: p-hacking(Cherry picking) and HARKing (Bailey, LaFrance, & Dovidio, 2017; Cesario, Jonas, & Carney, 2017; Gronau et al., 2017; Jonas et al., 2017; Klaschinski, Schnabel, & Schröder-Abé, 2017; Latu, Duffy, Pardal, & Alger, 2017; Ronay, Tybur, van Huijstee, & Morssinkhof, 2016)
• Till present, there is a reproducible but slight feeling of power.

When we focus on positive results only…

What's wrong with Daryl Bem's study

Source: https://youtu.be/42QuXLucH3Q

Source: https://youtu.be/42QuXLucH3Q

Criticisms

JPSP rejected failed replication(Ritchie, Wiseman, & French, 2012)

HARKing (Hypothesizing After the Results are Known; Kerr, 1998)

A Discredited Food Psychologist

Wansink boasted how to publish paper by QRPs

(Original date: 2016/11/21)

GRIM: A tool to check the spooky roundings of scaling data, less than 100 samples.

James Heathers	Nick Brown	Jordan Anaya	Tim van der Zee

4 Wansink-boasted papers had QRPs:

Retractions before Wansink's resign

More truth to be revealed

• 2007 Ig Nobel: Wansink, Painter, and North (2005); bottomless bowls study

• Audit by James Heathers

• No further investigation since Wansink claimed his resignment.

實踐研究過程透明化七步驟

1. 在公開存放庫創建研究專案預置空間
2. 研究專案預先註冊(Preregistration);或投稿註冊報告(Registered Report)
3. 開放研究材料(Open Materials)
4. 開放研究資料(Open Data)
5. 開放可重製程式碼(Reproducible Code, Open Source)
6. 開放取用(Open Access): 同儕審稿前於預印本平台公開手稿，接受後依版權協議公開全文。
7. 開放同儕審稿(Open Peer Review)

預先註冊是什麼？

• 研究開始執行前註記備份日期的計劃文件。

• 計劃文件詳述到完成發表前，執行細節的行動標準、紀錄方式及公開管道。

預先註冊與註冊報告

接受註冊報告的期刊

• COS介紹專頁及公開表格；目前全球各領域已超過200本期刊接受一般或特定目的的註冊報告。

• 中華心理學刊也接受註冊報告；目前投稿狀況未知。

如何進行？

常見的誤會

• 公開紀錄會侵犯參與者個人隱私嗎？
  • 紀錄只限能重製分析結果的資訊，未在分析計劃之內的無關或非必要之個人隱私資料，研究者原則上不必亦不得收集。
• 公開的計畫書會被其他學者搶先完成嗎？
  • 只要是以預先註冊/註冊報告模式完成的計劃，必須檢核是否依照開始前的計劃執行。公開計劃的研究者在完成計劃之前，有該項計劃的著作權。

公開存放庫一站達成

範例：物件方向效應跨語言量測專案

報告整合公開資訊

範例：探討物件尺寸調節物件方向效應之機制

報告數據可重製

• (未)公開的OSF備份計劃或報告文件，可直接於OSFpreprints公開。

• 逐次更新，確保計劃到報告的累進紀錄一致。

• 建置平台易，養成習慣難，需要整個學術界同意為規範(Norms)。

OA在台灣學術界的推廣難題

• 掠奪性期刊泛濫
• 正確資訊不易觸及所有學者

正在運作的同儕評審系統

來源：episciences.org

正在萌芽的新創企業

機構支持